MOSS-VL Technical Report
MOSS-VL 技术报告：面向实时交互的视觉语言模型
🧭 多模态实时交互模型
Fudan University
开源视觉语言模型 MOSS-VL 通过门控交叉注意力实现边看边说，实时主动交互能力领先
📌 工作参考价值（4 点）
- 架构借鉴：将视觉 token 移出解码序列，仅通过门控交叉注意力注入视觉信息，可显著降低首 token 延迟，适合电商直播助手的实时交互场景
- 训练策略：合成交互语料库显式监督模型何时发言、何时沉默、何时修正，可借鉴用于训练主动提醒型电商客服或直播导购 Agent
- 课程学习：实时特定训练集中在轻量最终阶段，避免破坏离线基础能力，可用于多模态模型增量训练，降低工程成本
- 主动行为：在 OmniMMI Proactive Alerting 上 66.0 vs 37.5 的性能表明模型能主动捕捉关键事件，可应用于商品状态监控、用户行为异常提醒等场景